When Does Correction Become Repair? Mechanistic Auditing of Internal Interventions in Tool-Using LLMs
何时纠错才算修复：工具型 LLM 内部干预的机制审计
🧭 LLM 可解释性 · 工具决策审计
University of the Chinese Academy of Sciences, China · School of Computer Science, University of Birmingham, UK
SAKIKO 审计框架揭示激活干预的行为迁移不等于修复，并量化附带损伤
📌 工作参考价值（3 点）
- 评估内部干预或 steering 修复工具调用/动作决策时，不要只看 accuracy / net gain；增加 destination-resolved 指标（如翻转矩阵：被干预改对的 vs 改错的基线正确样本），并在上线前审计 collateral damage。
- 干预应做成 router-conditioned：先定位动作类型决策对应的 router/分类子层或关键 attention head，再对局部 hidden state 做方向干预；全局 residual stream steering 容易引入无关动作损伤。
- 采用 前瞻冻结统计许可：预先设定目标增益，将干预方向与同预算随机方向做统计比较；对有限样本下的“看起来不错”的点估计，应报告置信区间/检验结果，避免把噪声当成修复。